Nửa sau trong thời gian cầm quyền của Ivan không thành công nhiều như trước. Dù Hãn Krym là Devlet I Giray nhiều lần tàn phá vùng Moskva và thậm chí đốt cháy kinh đô Moskva năm 1571, Nga hoàng ủng hộ cuộc chinh phục người Tatar Xibia của Yermak, chấp nhận một chính sách xây dựng đế chế, dẫn ông tới việc tung ra một cuộc chiến tranh thắng lợi mở rộng về biển phía tây, đương đầu với người Thụy Điển, Litva, Ba Lan, và các hiệp sĩ Teutonic Livonia.

Trong 24 năm cuộc chiến tranh Livonia kéo dài, gây thiệt hại cả về kinh tế và quân sự với Nga và không giành được bất kỳ một lãnh thổ nào cho nước Nga. Trong thập niên 1560 sự kết hợp giữa hạn hán và nạn đói, cũng như các cuộc tấn công của Ba Lan-Litva, những cuộc xâm lược của người Tatar, và sự phong toả đường thương mại trên biển do người Thuỵ Điển, Ba Lan và Liên minh Hanseatic tiến hành đã tàn phá nước Nga. Giá lương thực tăng gấp mười lần. Bệnh dịch giết hại 10.000 người ở Novgorod. Năm 1570 bệnh dịch làm 600-1000 người chết hàng ngày tại Moskva.[2] Vị cố vấn thân cận nhất của Ivan, công tước Andrei Kurbsky, bỏ trốn theo người Litva, dẫn đầu quân đội Litva tàn phá vùng Velikiye Luki của nước Nga. Sự phản bội này đã làm Nga hoàng Ivan rất đau đớn. Khi chính sách Oprichnina tiếp diễn, Ivan dần trở nên bất ổn định về tinh thần và ốm yếu về thể chất. Trong một tuần, ông dễ dàng chuyển từ trạng thái ăn chơi sa đoạ nhất sang việc đi cầu nguyện và ăn chay tại một tu viện xa xôi phía bắc.

Vì ông dần mất ổn định và trở nên bạo lực, những Oprichnik tại Malyuta Skuratov nhanh chóng vượt ra ngoài vòng kiểm soát và trở thành những kẻ sát nhân. Họ tàn sát các quý tộc và nông dân, bắt mọi người đi lính chiến đấu trong cuộc chiến với Livonia. Dân số sụt giảm và nạn đói kéo tới. Nơi từng là vùng giàu có nhất nước Nga đã trở thành vùng nghèo khổ nhất. Trong một cuộc tranh cãi với thành phố Novgorod giàu mạnh, Ivan đã ra lệnh cho những Oprichnik giết hại những người dân thành phố này, từ đó thành phố không bao giờ còn quay trở lại được thời kỳ thịnh vượng đó nữa. Những kẻ trung thành với ông đã đốt phá và cướp bóc thành phố cùng các làng mạc.[3] Có thể tới 60.000 người đã bị giết hại trong vụ thảm sát Novgorod nổi tiếng năm 1570;[4] nhiều người khác đã bị trục xuất.[5] Con số thống kê chính thức cho thấy 1.500 quý tộc Novgorod đã bị giết hại, chưa nói tới con số tương đương những thường dân khác. Nhiều nhà nghiên cứu hiện đại ước tính số nạn nhân trong khoảng 2 tới 3.000 người. (Sau nạn đói và các bệnh dịch số dân Novgorod trong thập niên 1560 có lẽ không vượt quá 10.000-20.000 người.)[6]

Năm 1581, Ivan đã đánh cô con dâu đang mang thai của mình vì tội mặc quần áo khiếm nhã, có thể đây là nguyên nhân khiến cô bị sẩy thai. Con trai ông, cũng tên là Ivan, khi biết tin này đã lao vào một cuộc tranh cãi nảy lửa với cha, cuộc tranh cãi kết thúc khi Ivan dùng cây gậy nhọn đánh vào đầu con mình, gây ra cái chết của người con trai (tai nạn). Sự kiện này đã được thể hiện trong bức tranh nổi tiếng của Ilya Repin, Ivan Bạo chúa và con trai Ivan vào thứ Sáu, 16 tháng 11 năm 1581 nổi tiếng hơn với tên gọi Ivan Bạo chúa giết con trai.